Unified Heterogeneous Feature Interaction via Effective-Rank Scaling for Recommender Systems
基于有效秩缩放的推荐系统统一异构特征交互
🧭 推荐系统统一异构特征交互与序列建模 ★ 深度解读
Alibaba Group · Renmin University of China · Institute of Automation, Chinese Academy of Sciences
HiRank统一异构特征交互与序列建模，通过主序列引导检索和场景感知高阶注意力，在淘宝CVR线上提升2.27%订单/用户
📌 工作参考价值（4 点）
- 主序列引导长期记忆检索：不要用静态 profile 特征直接生成长期行为 memory 的 query，容易导致 query 方向集中、有效秩低。可先让可学习 query seed attend 主行为序列，再用得到的主序列感知 query 去检索 long-term memory；同时保留 candidate-conditioned query 从候选物品视角读取同一 memory，两条路径互补，适合电商强 candidate 相关的 CVR 建模。
- 用有效秩(eRank)做特征交互层诊断：在 token mixing、memory retrieval 后定期计算 eRank，若有效秩过低说明表示多样性不足，可以增加 head-wise SwiGLU 或 per-token FFN；实验中 mixing 块和 memory retrieval 均显著提升 eRank，High-Rank Attention 阶段 eRank 仅小幅下降，可作为架构迭代的监控指标。
- 场景感知压缩 + 复合投影替代全量高维投影：在多场景/多域 CVR 中，直接用 scenario-aware cross-attention 将全部 token 压缩为 compact state，再通过多个独立参数化的 composite projections 生成 Q/K/V 做高阶交互，比直接对拼接 token 做大矩阵投影更省参数且能保留场景差异，适合业务线做多场景统一排序模型。
- 用户-物品解耦实现请求级计算复用：将 backbone token 分为 user-side 和 item-side，user-side 计算在同一个 request 内跨候选共享；使用 masked head-wise SwiGLU 实现单向 user->item 信息流（dependency matrix [[1,0],[1,1]]），既降低 online serving GFLOPs，又避免 item 信息污染 user 状态，适合电商/广告推荐 RLB 架构。